Sinh tại Caslav, Tiệp Khắc, Jarolím bắt đầu thi đáu chuyên nghiệp ở SK Slavia Praha trước khi đến FC Bayern Munich khi vẫn còn rất trẻ. Mặc dù vậy, từ năm 1997 đến 2000, anh chỉ thi đấu 1 trận cho đội 1.

Jarolím chuyển tới 1. FC Nuremberg trước mùa 2000–01, và anh đã dần khẳng định được mình. Trong mùa 2001–02, Jarolím trở thành cầu thủ chủ chốt của Nuremberg, tài năng của anh đã thu hút rất nhiều câu lạc bộ lớn.

Cho đến mùa 2003–04 Jarolím đã chuyển tới Hamburger SV và trở thành một trong những cầu thủ quan trọng nhất của HSV. Sau khi Rafael van der Vaart gia nhập Real Madrid, anh trở thành đội trưởng của Hamburg.